Scolari sinh ra trong một gia đình có cha là cầu thủ bóng đá chuyên nghiệp, ông Benjamin và có biệt danh là "perna-de-pau" (tạm dịch là "chân gỗ", biệt danh Tiếng Bồ Đào Nha dành cho các cầu thủ dở).[2] Ông thi đấu ở vị trí hậu vệ và từng thi đấu cho các câu lạc bộ Caxias, Juventude, Novo Hamburgo và CSA. Danh hiệu cao nhất trong sự nghiệp cầu thủ của ông là chức vô địch bang Alagoas cùng CSA.